When Does Supervised Fine-Tuning Reduce Instruction Sensitivity?
有监督微调何时降低指令敏感性？
🧭 LLM 指令敏感性 · SFT 训练指令依赖 ★ 深度解读
Hankuk University of Foreign Studies
SFT对指令敏感性的影响随模型规模、训练指令和评估协议变化，不一定降低鲁棒性
📌 工作参考价值（4 点）
- 在电商搜索相关性/排序模型的 LLM 微调中，上线前用 10+ 条语义等价指令变体评估，报告指令敏感度（标准差），避免单条 prompt 造成的假象；尤其对于 1.7B/4B 小模型，固定指令 SFT 本身就能大幅降低敏感度，可以作为快速鲁棒化手段。
- 对于 >8B 模型的 LoRA 微调，训练指令的选择会影响鲁棒性：在 Qwen3-8B 上简短指令（TA）比详细指令（TB/TC）带来更低的 post-SFT 敏感度，且差异显著；因此在大模型任务适配时，应尝试多个训练 prompt 并用 bootstrap 检验敏感性差异。
- 评估协议选择会直接改变鲁棒性结论：在 ESCI 上自由生成（greedy+prefix）显示 SFT 后更敏感，而强制选择（label likelihood）没有该问题，即使 valid-label 率 >99.8%。在搜索排序场景用 likelihood scoring 比生成式解码更稳定，能减少评估伪影。
- 任务效果和指令鲁棒性要分开监控：SFT 可以提升 nDCG/准确率但可能增加指令敏感性（如 Qwen3-8B + TB），不要用平均指标代替鲁棒性评估。